बाइटडांस के डौबाओ बड़े मॉडल टीम ने हाल ही में घोषणा की है कि उन्होंने मिश्रित विशेषज्ञ मॉडल (MoE) आर्किटेक्चर की प्रमुख बाधाओं को सफलतापूर्वक दूर कर लिया है, और COMET नामक एक महत्वपूर्ण अनुकूलन तकनीक को ओपन सोर्स किया है। इस तकनीक ने बड़े मॉडल की प्रशिक्षण दक्षता में उल्लेखनीय वृद्धि की है, जिससे 1.7 गुना तक की दक्षता में बढ़ोतरी हुई है, और प्रशिक्षण लागत में 40% की कमी आई है। चित्र स्रोत टिप्पणी: चित्र AI द्वारा उत्पन्न किया गया है, चित्र अधिकार सेवा प्रदाता Midjourney। बताया गया है कि COMET तकनीक का उपयोग बाइटडांस के हजारों कार्ड वाले क्लस्टर प्रशिक्षण में किया जा चुका है, जिससे लाखों GP की बचत हुई है।

डीपसीक ने ओपन सोर्स वीक के दूसरे दिन का उत्पाद जारी किया, जो MoE मॉडल के लिए पहला ओपन सोर्स EP संचार पुस्तकालय है, जो मिश्रित विशेषज्ञ मॉडल प्रशिक्षण और अनुमान के लिए पूर्ण-स्टैक अनुकूलन का समर्थन करता है। डीपईपी एक कुशल संचार पुस्तकालय है जो विशेष रूप से मिश्रित विशेषज्ञ (MoE) और विशेषज्ञ समानांतर (EP) के लिए डिज़ाइन किया गया है। इसका उद्देश्य उच्च थ्रूपुट और कम विलंबता वाला कई-से-कई GPU कोर प्रदान करना है, जिसे आमतौर पर MoE शेड्यूलिंग और संयोजन के रूप में जाना जाता है। डीपईपी न केवल FP8 जैसे कम-परिशुद्धता संचालन का समर्थन करता है, बल्कि डीपसीक-V3 शोध पत्र के साथ भी एकीकृत होता है।

एलन आर्टिफिशियल इंटेलिजेंस रिसर्च इंस्टीट्यूट (AI2) ने OLMoE नामक एक ओपन-सोर्स बड़े भाषा मॉडल पेश किया है, जिसका उद्देश्य उच्च प्रदर्शन और कम लागत समाधान प्रदान करना है। इस मॉडल में स्पर्श मिश्रित विशेषज्ञ (MoE) आर्किटेक्चर है, जिसमें 7 अरब पैरामीटर हैं, लेकिन स्मार्ट राउटिंग तंत्र के माध्यम से, प्रत्येक इनपुट टोकन केवल 1 अरब पैरामीटर का उपयोग करता है, जिससे कुशल गणना संभव होती है। OLMoE में सामान्य और निर्देश ट्यूनिंग के दो संस्करण हैं, जो 4096 टोकन के संदर्भ विंडो का समर्थन करते हैं। इसके प्रशिक्षण डेटा का स्रोत विविध है, जिसमें कॉमन क्रॉल, डोलमा CC और विकिपीडिया शामिल हैं।